📘 llama.cpp 调优指南
🎯 30章 · 从入门到专家
🧑🎓
友好色系
1
初探
llama.cpp 项目背景
核心价值 · 为什么选择本地推理
2
编译安装
从源码编译 CPU/GPU
CUDA/Metal · 预编译包 · 错误排查
3
量化基础
FP16/INT8/INT4
性能与精度影响 · 选择合适量化类型
4
模型格式
GGUF 详解
HuggingFace转换 · convert.py脚本
5
CPU优化
BLAS库 · 线程数
OpenBLAS/Intel MKL · NUMA绑定
6
GPU加速
CUDA/Vulkan/Metal
多GPU并行 · Apple Silicon优化
7
KV Cache
缓存复用策略
上下文窗口 · 性能影响
8
批处理并发
Continuous Batching
动态批处理 · 服务端并发
9
Prompt优化
预填充阶段
长上下文处理 · Prompt缓存
10
解码策略
temperature/top_p/top_k
贪心vs采样 · 生成速度影响
11
内存管理
mmap · 内存池
显存不足处理策略
12
Profiling
benchmark & perf
火焰图生成与解读
13
高级量化
IQ / K-quants
混合精度 · Importance-aware
14
架构适配
LLaMA/Mistral/Mixtral
Falcon特定优化点
15
上下文扩展
RoPE / NTK / YaRN
长上下文推理挑战
16
稀疏剪枝
稀疏注意力
模型剪枝实践 · 性能收益
17
推测解码
Speculative Decoding
草稿模型 · 加速比实测
18
Flash Attention
原理与集成
llama.cpp实现 · 性能对比
19
分布式推理
张量/流水线并行
多机部署方案
20
服务化部署
server配置
API优化 · 负载均衡
21
LoRA适配器
原理与加载
推理性能影响
22
系统级优化
CPU频率/功耗
内存带宽 · 大页配置
23
容器化部署
Docker/K8s
资源限制与请求
24
监控日志
性能指标采集
日志级别 · 告警规则
25
性能瓶颈
I/O/计算/内存
识别与解决
26
多模态模型
LLaVA/BakLLaVA
视觉语言推理优化
27
代码生成
CodeLlama/DeepSeek
特定调优策略
28
边缘设备
树莓派/手机/嵌入式
推理优化
29
调优实战
10→50 tok/s
完整调优过程
30
未来展望
路线图 & 社区
新兴技术趋势